• Revisão Sistemática: "é uma síntese da pesquisa disponível em um tópico precisamento definido, usando métodos explícitos para identificar, selecionar, avaliar criticamente, e analisar os resultados relevantes". (Koricheva et al, 2013)

• Meta-Análise: "é a análise estatística de uma ampla coleção de resultados de estudos com o propósito de integrar a evidência disponível". (Glass, 1976)

• Uma meta-análise é um componente opcional da revisão sistemática.

• É uma das partes mais importantes de uma revisão sistemática - se não a parte mais importante;
  
• O tempo gasto aqui é o tempo que você nao vai gastar no futuro;
  
• Gaste tempo planejando:
  • O(s) critério(s) de inclusão para a extração de dados.
    
  • As informações que precisam ser extraídas de cada estudo.
    
  • O formato que cada variável extraída vai assumir na base de dados.
    
• Documente todas as decisões e escolhas.

• A lista de artigos que segue para a extração vem a partir dos critérios de busca que você vai usar.
  
• O critério de busca inicial e a sua pergunta já estabelecem algumas diretrizes para o critério de extração de dados.
  
• Algumas perguntas relevantes:
  • Que tipo de variável resposta será aceita?
    
  • Você quer estudos observacionais e/ou experimentais?
    
  • Que tipo de manipulação experimental será aceita (presença ou ausência, concentração, intervenção ativa,…)?
    
  • Como lidar com dados que estão faltando no estudo?
  • Como lidar com estudos publicados múltiplas vezes?
• Documente todas as decisões e escolhas.

• Documente todas as decisões e escolhas:
  • Faça uma lista de todos os trabalhos vistos, com o status e informações relevantes de cada um deles, que os levaram a ser aceitos ou rejeitados.
    
• Cada dado extraído deve receber um número de identificação.
  
• Cada linha recebe as informações de uma única observação.
  
• Em cada coluna, apenas um tipo de dado.

• O tipo de informação a ser extraída depende da natureza da sua pergunta:
  • Informações básicas sobre o estudo: localidade, coordenadas, clima,…
  • Outras informações sobre o estudo: tamanho da área amostrada, tipo de ecossistema, forma de amostragem, espécies envolvidas,…
  • Informações sobre a manipulação de interesse: desenho aditivo ou substitutivo, níveis da manipulação, espécies adicionadas,…
  • Dados quantitativos: médias, erros, tamanho amostral
  • Outras informações relevantes

• Na sua cabeça…"tudo pode ser potencialmente importante, e tudo influencia tudo".
  • Mas por quê x, y ou z podem ser importantes?
    
  • Como você espera que a influencie b?
    
• Foque na sua pergunta - a partir dela, você vai ter noção do que é importante extrair.
  
• Você está testando uma hipótese…o que a literatura diz sobre ela?
  
• Que outros corpos de teoria podem indicar quais informações são importantes?
  
• Estar familiarizado com a área que você está revisando é fundamental.

1. Quando variáveis resposta para um mesmo estudo forem correlacionadas, qual delas você vai preferir?
   
2. Quando os dados forem apresentados em diferentes tempos, qual deles você vai usar?
   
3. Se houverem múltiplos níveis de um tratamento, qual você vai usar?
   
4. Como você encara múltiplas observações a partir do mesmo estudo?
   
5. Como você encara dados do mesmo experimento/localidade apresentados em múltiplos estudos?
   
6. Se o estudo for multifatorial, como você extrai os dados do controle e tratamento?

• É a parte da extração de dados que consumirá mais tempo.
  
• Importante registrar de onde veio cada dado extraído para a meta-análise.
• Médias
• Erro
• Tamanho da Amostra
• Boxplot

• Hozo et al, 2005, BMC Medical Research Technology, Estimating the mean and variance from the median, range, and the size of a sample

# a: mínimo; m: mediana; b: máximo; n: tamanho da amostra
box_size <- function(a,m,b,n) {
  mn_small <- (a+2*m+b)/4
  mn_with_n <- (a+2*m+b)/4+(a-2*m+b)/(4*n)
  s <- sqrt((a*a+m*m+b*b+(n-3)*((a+m)^2+(m+b)^2)/8-n*mn_small*mn_small)/(n-1))
  s_form <- ((((a-(2*m)+b)^2)/4)+((b-a)^2))/12
  sd_form <- sqrt(s_form)
  s_range_4 <- (b-a)/4
  s_range_6 <- (b-a)/6
  sample_size <- n
  median_data <- m
  calculated <- c(mn_small, mn_with_n, median_data, s, s_form, sd_form, s_range_4, s_range_6, sample_size)
  names(calculated) <- c("Mean", "Mean with n", "Median", "SD with n", 
                         "Variance", "SD", "Range 4", "Range 6", "Sample Size")
  return(calculated)
}

• Se o n < 25:

mn_small <- (a+2*m+b)/4

• Se o n > 25:

  mn_with_n <- (a+2*m+b)/4+(a-2*m+b)/(4*n)

• Se o n < 15

s_form <- ((((a-(2*m)+b)^2)/4)+((b-a)^2))/12
sd_form <- sqrt(s_form)

• Se o 15 < n < 70

s_range_4 <- (b-a)/4

• Se o n > 70

s_range_6 <- (b-a)/6

• Se você é desconfiado, cricri, ou gosta de carregar o mundo nas costas, não.
  
• Se você acredita nos outros, sabe o valor de trabalhar em equipe, ou quer agilizar o processo, sim.
  
• No fim das contas, a escolha depende do tamanho da meta-análise e das pessoas disponíveis para ajudar.
  
• É importante registrar quem extraiu os dados de que trabalho.
  
• Existe um método para determinar o grau de concordância entre revisores.

• Observado: grau de concordância entre dois revisores.
  

  	Aceito	Rejeitado	Total
  Aceito	35	20	55
  Rejeitado	5	9	14
  Total	40	29	69

• Esperado ao acaso: (\(\Sigma\)Linha * \(\Sigma\)Coluna)/\(\Sigma\)Total

  	Aceito	Rejeitado	Total
  Aceito	31.88	23.11	55
  Rejeitado	8.11	5.88	14
  Total	40.00	29.00	69

• Número de vezes em que ambos concordaram:
  • Observado: 35 + 9 = 44
  • Ao acaso: 31.88 + 5.88 = 37.76

• K = (concordância observada - concordância esperada)/(numero total de observacoes - concordânca esperada)

(44 - 37.76)/(69 - 37.76)

## [1] 0.1997439

• Baixa concordância entre revisores merece atenção.

• Documente todas as decisões e escolhas, e relate:
  • se extração de dados foi feita por uma única pessoa ou uma equipe;
    
  • se feito por uma equipe, como você lidou com um possível viés individual.